🔺Как можно интегрировать экспертные знания в методы обнаружения аномалий на основе плотности
Хотя методы, основанные на оценке плотности, чаще всего являются полностью безнадзорными, в реальных задачах часто доступна частичная информация от экспертов. Это могут быть:
1️⃣известные валидные диапазоны значений (например, «датчик не может показывать ниже 0»), 2️⃣примеры аномалий или нормальных состояний, собранные вручную, 3️⃣логические правила или бизнес-ограничения.
🚩Как использовать эту информацию
1. Полунадзорная плотностная оценка — Задать «якорные» точки: явно указать, какие объекты точно нормальные, а какие — аномальные. Это влияет на локальные оценки плотности вокруг них.
2. Постобработка результатов модели — После работы алгоритма можно применять экспертные правила для фильтрации или повторной оценки найденных аномалий. Например, игнорировать точки, попавшие в известные допустимые диапазоны, даже если модель посчитала их подозрительными.
3. Обогащение признаков — Добавить признаки, отражающие экспертные соображения (например, флаги «значение превышает допустимый уровень»), которые помогут алгоритму выявлять аномалии более осознанно.
🔺Как можно интегрировать экспертные знания в методы обнаружения аномалий на основе плотности
Хотя методы, основанные на оценке плотности, чаще всего являются полностью безнадзорными, в реальных задачах часто доступна частичная информация от экспертов. Это могут быть:
1️⃣известные валидные диапазоны значений (например, «датчик не может показывать ниже 0»), 2️⃣примеры аномалий или нормальных состояний, собранные вручную, 3️⃣логические правила или бизнес-ограничения.
🚩Как использовать эту информацию
1. Полунадзорная плотностная оценка — Задать «якорные» точки: явно указать, какие объекты точно нормальные, а какие — аномальные. Это влияет на локальные оценки плотности вокруг них.
2. Постобработка результатов модели — После работы алгоритма можно применять экспертные правила для фильтрации или повторной оценки найденных аномалий. Например, игнорировать точки, попавшие в известные допустимые диапазоны, даже если модель посчитала их подозрительными.
3. Обогащение признаков — Добавить признаки, отражающие экспертные соображения (например, флаги «значение превышает допустимый уровень»), которые помогут алгоритму выявлять аномалии более осознанно.
The Singapore stock market has alternated between positive and negative finishes through the last five trading days since the end of the two-day winning streak in which it had added more than a dozen points or 0.4 percent. The Straits Times Index now sits just above the 3,060-point plateau and it's likely to see a narrow trading range on Monday.
Launched in 2013, Telegram allows users to broadcast messages to a following via “channels”, or create public and private groups that are simple for others to access. Users can also send and receive large data files, including text and zip files, directly via the app.The platform said it has more than 500m active users, and topped 1bn downloads in August, according to data from SensorTower.Библиотека собеса по Data Science | вопросы с собеседований from hk
